【助力轉型】紅帽推出企業級推理伺服器 為混合雲提供更高效AI推理解決方案
企業開源解決方案供應商紅帽，宣布推出人工智能推理伺服器（Red Hat AI Inference Server），不僅源自強大的 vLLM 社群專案，更透過紅帽整合 Neural Magic 技術加以強化，提供更快速度、更高加速器效率，以及更佳成本效益，能在任何雲端環境和 AI 加速器上，執行各種生成式 AI 模型。紅帽同時宣布推出「生成式人工智能虛擬助手」OpenShift Lightspeed，將提升用戶在混合雲環境中管理應用程式部署的方式，即使非技術專家亦能精準操作。
紅帽指出，不論是獨立解決方案，或是作為紅帽企業 Linux AI（RHEL AI）和紅帽 OpenShift AI 的集成功能，Red Hat AI Inference Server 這一突破性平台，讓企業能更有效地在生產環境中部署和擴展生成式AI。事實上，推理（inferencing）是 AI 關鍵部分，隨著生成式人工智能模型複雜性不斷增加，加上生產環境部署規模的擴增，推理步驟消耗大量硬體資源，更或導致回應速度遲緩，加重營運成本。為大規模釋放 AI 潛力，強大推理伺服器已屬必要條件。
以vLLM方案為基礎
紅帽人工智能推理伺服器以業界領先的 vLLM 方案為基礎。該方案由加州大學柏克萊分校於 2023 年啟動，可提供高傳輸量的生成式人工智能推理、支援大型內容輸入、多 GPU 模型加速並支援連續批次處理等功能。
vLLM 不僅廣泛支援公開可用的模型，更能從 Day 0 整合 DeepSeek、Gemma、Llama、Mistral、Phi 等領先模型，以及如 Llama Nemotron 的開源企業級推理模型，推動其成為未來人工智能推理創新的實質標準。領先模型的供應商正積極擁抱 vLLM，進一步鞏固 vLLM 在塑造人工智能未來的關鍵作用。
紅帽人工智能推理伺服器整合 vLLM 的創新技術，將其融入紅帽人工智能推理伺服器中的企業級功能中。該功能提供獨立的容器化版本，亦可作為 RHEL AI 及紅帽 OpenShift AI 的一部分。
紅帽人工智能推理伺服器可於跨環境中部署，具備以下亮點：
- 智能 LLM 壓縮工具：能大幅縮減基礎模型與微調 AI 模型的規模，最大限度減少運算消耗，維持甚至可能提升模型的準確性。
- 優化的模型存放庫：該功能在 Hugging Face 的紅帽人工智能企業中，使用者可以即時存取經過驗證與優化的頂尖 AI 模型，在不影響模型準確性的前提下，將效率提升 2 至 4 倍。
- 紅帽的企業級支援：以及紅帽數十年來將社群方案引入生產環境所積累的專業知識。
- 第三方支援：提供更大的部署彈性，只要遵循紅帽的第三方支援政策，用戶就能將紅帽人工智能推理伺服器部署於非紅帽的 Linux 及 Kubernetes 平台。
至於紅帽同時宣布推出的 OpenShift Lightspeed，是一款整合於紅帽 OpenShift 中的生成式人工智能虛擬助手，將提升用戶在混合雲環境中管理應用程式部署的方式，即使非技術專家，亦能精準操作，釋放資深科技人員的生產力。
用戶只需使用自然語言（natural language），便可向紅帽 OpenShift Lightspeed 查詢有關紅帽 OpenShift 的各項問題。透過充分運用紅帽在混合雲環境中構建、部署及管理應用程式的豐富知識與經驗，紅帽 OpenShift Lightspeed 能協助用戶進行故障排除及調查集群資源等任務。用戶更可輕鬆將環境中的資訊分享至對話窗口，讓 OpenShift Lightspeed 根據實際上下文提供精準回答。
它提供靈活的模型整合方案，可與 OpenAI、Azure OpenAI 和 WatsonX 等多個主流服務平台相兼容。企業也可使用部署於紅帽企業 Linux AI 以及紅帽 OpenShift AI 上的私有化 AI 選項，以獲得更高度的控制權及定制能力。此多元化兼容性，確保企業能根據自身需求及安全規範，來選擇最合適的 AI 模型。
為滿足企業基於其特定開發流程對紅帽 OpenShift Lightspeed的客製化需求，紅帽推出「自備知識庫」技術預覽功能，允許企業將內部專屬的技術知識與流程文檔整合至系統中，使生成的回應，能完全貼合該企業的運作模式及 OpenShift 的使用習慣，充分體現紅帽對適應性解決方案的承諾。
混合雲環境現已由現代化容器應用程式與傳統虛擬化工作負載組成。 紅帽 OpenShift 為管理此類混合環境，提供一個重要的平台。延續此整合優勢，紅帽 OpenShift Lightspeed 現針對 OpenShift Virtualization 提供了量身定制的智慧協助功能，不僅能簡化從傳統虛擬化平台遷移的複雜過程，更透過解答虛擬化技術難題，大幅降低現代化轉型門檻。
